[レポート] クラスメソッドxメソドロジック共催：イチから始めるデータ活用！『Snowflake編』を開催しました。

モダンデータスタック(MDS)

しんや

2024.02.29

アライアンス事業部エンジニアグループモダンデータスタック(MDS)チームのしんやです。

先日2024年02月28日(水)、クラスメソッド株式会社と株式会社メソドロジックの共催イベント『【毎週開催】メソドロジック社共催！イチから始めるデータ活用！8週連続ウェビナー』の第2回開催回である『Snowflake編』を開催しました。

当エントリではその内容についてレポート致します。

イベント概要

第1回目となる今回取り扱うテーマは『イチから学ぶSnowflake』です。

ちなみにプレスリリースで告知・紹介を行ったシリーズ開催内容は以下の通りとなっています。

参考：

前回第1回目の開催レポートは以下をご参照ください。

データ分析基盤を導入する際の注意点：データを一箇所に集めてSnowflakeは大丈夫なのか？→大丈夫です。マルチクラウドDWHであるSnowflakeはデータ分析基盤の中核として構成されている
Snowflakeだけでデータ分析基盤は出来るのか？
- SnowflakeはDWHとしては優れたソリューションだが、DWHだけでは分析基盤は完成しない。
  - BIツール、ETLツールとの連携が必要
  - SQLでの開発・テスト管理が大変
  - 機械学習やデータカタログといった機能は(Snowflakeには)無い
Snowflakeの「パートナーコネクト」を活用すると、Snowflakeの周辺サービスを連携してデータ分析基盤をすぐに活用出来る。これが所謂『モダンデータスタック(Modern Data Stack)』。

Snowflake for Data Mesh
DataMeshの4原則
この↑アーキテクチャをSnowflakeで実現する。実現する際に重要なポイントは以下の通り。
- アクセス権管理
- データガバナンス
- 意思決定
DataMeshアーキテクチャのドメイン所有権の原則：ドメインチームがデータの責任を追うことが義務付けられており、分析データドメインを中心に構成する必要がある。

Snowflakeによるデータメッシュへのアプローチは以下の方法・ソリューションで実現可能。
図示すると以下のようになる。
Role-based Access Control(RBAC)
- 検証を進めたものがあり、サンプルで作ったものの適用を進めている。
- また、これを踏まえたアクセス制御についても諸々検証等を進めている。

基本的な内容は前回第1回の内容と同様のため割愛。ここでは差分の情報を追加で紹介します。

クラスメソッドでは、Snowflakeに関して下記のようにお客様のご要望に応じた形で支援内容を提供しています。

また、前回第1回で紹介した『データガバナンス』を踏まえた体制を構成するポイントとして、以下の内容を挙げています。

セッション終了後は、全体を通して挙がっていた質問に対する回答タイムとなりました。挙がっていたものの中で主だったものについて下記に記載します。

A. 元々Snowflake自体はデータベース、データウェアハウス由来のもので、DatabricksはHadoopやSparkといった分散処理フレームワーク由来という部分であるというのが特徴、分かりやすい大きな違いではあります。かつDatabricksはBI、データカタログ、機械学習といった部分を自分たちでやってしまおうという発想に舵を切っているというのもあります。SnowflakeはそんなDatabricksに対し、SnowparkやSnowpipe等を出してきてDatabricksの領域に近付こうとしていると見ています。お客様からすると(SQLで扱える、という点から)Snowflakeの方が分かりやすいイメージではないでしょうか。